Người thành lập ra nước Ngô là Dương Hành Mật (852-905) (楊行密) bắt đầu sự nghiệp của mình từ một người lính đầu quân tình nguyện trước khi giành được quyền lực tại Lư Châu trong một vụ đảo chính quân sự để làm Thứ sử. Triều đình nhà Đường khi đó đã suy yếu không thể làm gì ngoài việc công nhận chức vụ của ông. Năm 885, Tiết độ sứ Hoài Nam Cao Biền bị thủ lĩnh quân nổi loạn là Tất Sư Đạc cùng Tần Ngạn bắt giữ. Dương Hành Mật lấy danh nghĩa báo thù cho Cao Biền, đã đánh bại Tất Sư Đạc và chiếm luôn Dương Châu, nhưng khi đó Cao Biền đã bị giết chết. Một thủ lĩnh quân nổi loạn khác là Tôn Nho (孫儒) đã nắm lấy quyền chỉ huy toàn bộ quân đội của Cao Biền. Dương Hành Mật buộc phải rời khỏi Dương Châu để rút về Lư Châu. Tại Lư Châu, Dương Hành Mật đã tăng cường sức mạnh của mình cho đến khi tái chiếm Dương Châu vào năm 892. Vì công lao này, nhà Đường phong ông làm Tiết độ sứ Hoài Nam thay Cao Biền.

Trong khi về danh nghĩa vẫn trung thành với nhà Đường, nhưng các lãnh chúa địa phương đã bắt đầu tạo ra các nhà nước nhỏ của chính mình. Dương Hành Mật đã có xung đột với Chu Ôn của Hậu Lương tại phía bắc và Tiền Lưu của Ngô Việt tại phía nam, nhưng đã bảo vệ thành công lãnh thổ của mình. Năm 902, Dương Hành Mật được Đường Chiêu Tông phong làm Ngô Vương.